from datasets import *

#加载完整数据集
dataset = load_dataset(r"D:\datasets\new-title-chinese")
print(dataset)

#加载前40%的训练集,前50%的验证集
train_dataset = load_dataset(r"D:\datasets\new-title-chinese",split=['train[:50%]', 'validation[:50%]'])
print(train_dataset)

#打印训练集前3个样本
print("打印训练集前3个样本\n",dataset['train'][:3])

#打印训练集的标题前3个样本
print("打印训练集的标题前3个样本\n",dataset['train']['title'][:3])

#打印训练集的列名
print("打印训练集的列名\n",dataset['train'].column_names)

# 将训练数据集拆分为训练集和测试集，测试集占20%
data = dataset['train']
print("将训练数据集拆分为训练集和测试集，测试集占20%\n",data.train_test_split(test_size=0.2))

# 打印数据集训练集中的前三个样例的标题
print("打印数据集训练集中的前三个样例的标题\n",dataset['train'].select([0,1,2])["title"])

# 打印训练集中标题包含“中国”的数据(过滤)
print("打印训练集中标题包含“中国”的数据(过滤)\n",dataset['train'].filter(lambda example:'中国' in example['title'])['title'])

# 定义一个函数，给标题前面加上'prefix:'
def add_prefix(example):
    example['title'] = 'prefix:' + example['title']
    return example
pre_data = dataset.map(add_prefix)
print(pre_data['train'][:5]['title'])
